NLP|TFIDF词频逆文件频率算法解析

一. 什么是TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率) 是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

上述引用总结就是, 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章.

这也就是TF-IDF的含义.

TF： 一个词在文档中出现的频率 = 该词出现次数/文档中总词数

词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数，描述的是一个词跟文档的相关度，一个文档中出现某个词越多说明该文档的主题跟该词有很大的关系。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否。）

但是, 需要注意, 一些通用的词语对于主题并没有太大的作用, 反倒是一些出现频率较少的词才能够表达文章的主题, 所以单纯使用是TF不合适的。权重的设计必须满足：一个词预测主题的能力越强，权重越大，反之，权重越小。所有统计的文章中，一些词只是在其中很少几篇文章中出现，那么这样的词对文章的主题的作用很大，这些词的权重应该设计的较大。

IDF描述一个词的个性度（重要性），如果一个词在很多文档中出现说明该词是个“大众面”，如一大堆词都是一些公司名称，这时你说出两个字能非常好地定位到你需要的公司名字，那么你就要挑那个公司名字中核心的、独一无二的字，假如你挑 “公司”